面向任务的长文档视觉问答综述：分类、演进与未来方向
🧭 多模态检索增强生成 · 长文档 VQA 综述
College of Computer Science and Technology, Zhejiang University · School of Software Technology, Zhejiang University · Polytechnic Institute, Zhejiang University · BWTON Technology Co., Ltd.
以任务瓶颈为主线，系统梳理长文档 VQA 的解析、证据检索、生成与评测，突出预算约束下的证据充分性
📌 工作参考价值（4 点）
- 电商售后、产品手册、合规条款等长文档问答场景，可参考其「证据组织与检索」组件化设计：把版面元素（表格、图表、段落空间关系）作为显式检索证据，而不仅是文本 chunk。
- 广告审核、商家资质审核需要从长合同/报告中找到依据，可借鉴「预算感知协调」与可验证理解的思想，在 token/延迟约束下动态选择直接阅读或检索。
- 面向客服 Agent 的架构：论文梳理的 Agentic Reasoning 与显式检索结合，可用于设计能持续管理证据、支持可纠正问答的长文档助手，降低幻觉风险。
- 评测维度中的证据充分性、可验证性，可直接迁移到内部长文档 VQA 评测集构建，重点考察答案是否有高保真证据支撑。
冻结模型，进化专长：从部署经验中做模型无关的多模态医学AI学习
🧭 冻结模型外部经验持续学习 ★ 深度解读
University of Maryland, College Park · NVIDIA
提出参数无关外部专长框架，让冻结LLM/VLM从部署经验中持续提升并跨模型迁移
📌 工作参考价值（4 点）
- 在线 Agent/导购/客服：用 LLM optimizer 从成功/失败轨迹重写 Skill 文档而非 append，控制长度、消解冲突规则；候选 Skill 上线前用「下一批新流量 + 历史代表性 buffer」联合验证，接受条件为新样本平均收益>0、历史平均收益≥0、且 win>=loss，防止 prompt 过拟合固定验证集。可套用于搜索 query 改写策略、导购话术策略。
- 商品/内容多模态：维护 MMKB 式视觉记忆库，保存商品图+已知结论（类目、属性、违规、点击/转化标签），检索后用明确 prompt 让模型比较参考图证据与当前图的差异/缺失/矛盾，而不是只把图塞进上下文。实验显示同样 references，仅当上下文会让视觉任务分数下降，加比较分析后才转正；可迁移到商品图质检、主图优选、属性抽取。
- 知识与事实记忆：把可靠事实以「证据+适用条件」存入外部 Knowledge Memory，查询时先检索再检查是否直接回答且适用；只有多案例支持或有可信外部来源才入库。可做电商规则库、广告合规知识、平台政策问答的持续更新。
- 经验外置可无缝迁移到新基座/新模型版本，冷启动成本低；换 LLM 供应商或升级模型时，无需重训，直接复用 Skill/Memory/MMKB，对正在 A/B 不同底座或多租户模型选型的团队有用。
CLIMB：多模态检索增强生成中的置信度引导互补证据
🧭 多模态 RAG 互补证据与置信度控制
Rutgers University · Google
训练无关的多模态 RAG 框架，用互补证据池与置信度引导的迭代细化提升知识密集型视觉问答效果
📌 工作参考价值（4 点）
- 在商品图文问答、电商知识库检索中，可用 MMR 式去冗余代替单纯 Top-K，构建紧凑互补证据池，减少重复段落、提高信息覆盖。
- 多维度 critic 评分（相关性、证据特异性、跨模态对齐）比单一相似度更精细，可迁移到多模态商品信息或图文评论的检索排序。
- 置信度条件接受机制（只有置信度上升才更新答案）可作为 Agent 多轮检索-生成中的停止准则，避免无效迭代和 token 浪费。
- 训练无关、不改动底层 MLLM 与检索器，适合在现有 RAG 流程上快速灰度实验，验证推理侧优化收益。
多模态 RAG 的自适应粒度证据压缩框架
🧭 多模态 RAG 证据压缩与迭代检索
POSTECH
CANOPY 用层级节点评分与父相对细化选择多粒度证据区域，结合 critic 触发补充检索，压缩 token 同时保持准确率。
📌 工作参考价值（4 点）
- 在电商多模态知识库/商品问答场景，对检索到的商品详情图、表格、视频片段构建层级表示，用微调的小型节点编码器做 query 相关打分，替代 LLM 逐节点判断，压缩成本低且可并行。
- 父相对细化：比较父节点与子节点得分的相对差异来选择保留区域，可迁移到商品详情页中“整块描述 vs 局部属性”的自适应裁剪，避免统一细粒度丢失关键上下文。
- critic 触发补充检索对多跳问题（如跨商品属性对比）很有价值：当现有证据不足时，主动发起针对性二次检索，可提升复杂 query 的答案质量；工程上可用轻量规则或小模型实现。
- 压缩减少 reader 输入 token 14.2–27.7% 且准确率不受损的结论，支持在 RAG 服务链路中加入后置压缩模块，降低 LLM 输入成本，适合线上成本敏感场景。
通过生成器在环对齐弥合多模态 RAG 中的语义-效用差距
🧭 多模态 RAG · 检索对齐
两阶段生成器在环框架，用 VLM 生成假设文本并基于答案反馈微调 reranker，弥合多模态 RAG 语义相似与生成效用差距
📌 工作参考价值（4 点）
- 检索/排序目标再对齐：现有向量召回和相关性模型常优化语义相似度，但业务目标可能是点击、转化或生成质量。可用生成器/模型反馈自动构造偏好对，比如候选商品描述是否能辅助生成正确推荐理由或回答，无需人工标注，降低标注成本。
- 跨模态 query 桥接：电商中图片搜索、图文推荐可先让 VLM 根据图像和用户 query 生成“假设文本”（如商品属性、风格描述），再用该文本做 dense retrieval，缓解模态 gap，提升召回精度。
- 低成本 reranker 微调：用 LoRA 微调 cross-encoder reranker，并支持 triplet/DPO/SFT 多种损失，方便在现有排序服务上快速实验。同时可周期性重新挖掘偏好对，随着 reranker 提升迭代优化。
- 生成器在环评估：可以直接将下游生成任务的表现（如推荐理由吸引力、答案正确性）作为排序信号，而不是只看排序指标 NDCG；在线实验时监控最终业务指标，更贴近业务价值。
面向Cessna 172维修手册的多模态RAG降低技师检索负担
🧭 多模态RAG垂直领域知识检索
Purdue University · Clemson University
开发多模态手册检索器与MRAG流程，在维修手册上实现93.37% recall@5和87.20%答案语义相似度
📌 工作参考价值（4 点）
- 电商/推荐场景可迁移：将商品文档、规格表、示意图做多模态RAG，让客服或导购Agent同时检索图文页面，而不是只依赖文本切片，提高复杂产品问答质量。
- 评估方法可直接复用：用合成查询按信息类型（程序、图示、警告/安全、规格）分层构造测试集，能更细粒度定位检索瓶颈，比单一整体指标更利于迭代。
- 工程实现参考：把检索和生成拆开分别评估 recall@5 和生成相似度，便于定位问题是出现在召回还是生成；同时记录单查询耗时和成本，作为上线前可行性门槛。
- 多模态可解释性可借鉴：用热力图可视化页面上哪些区域被检索模型关注，可用于排查错误召回、做人工审核，也便于向业务方解释模型为何推荐某张图或某个手册页。
层级感知多模态RAG：结构忠实的图文交错生成
🧭 层级感知多模态RAG
The Hong Kong University of Science and Technology (Guangzhou) · ASCETEX INTERNATIONAL LIMITED · MOVENSYS Inc. · Schneider Electric · Technical University of Munich
利用文档层级引导检索与生成，实现多模态RAG中的结构忠实与图文对齐，在多个基准上平均提升17.3%
📌 工作参考价值（4 点）
- 在电商详情页、说明书、SOP等多模态文档RAG中，优先保留文档层级（标题/章节/步骤）作为检索单元，而不是切割成扁平chunk；可将章节路径和父子关系编码进索引和prompt，提升证据选择的忠实度。
- 对于需要图文交错生成（如商品使用教程、维修指南）的场景，在prompt中保留局部文本-图像对及其在源文档中的位置，可显著减少图片放错和图文不匹配；考虑将图片与相邻文本绑定作为最小检索单元。
- 构建内部评测基准时，可借鉴HAM-Bench的分类覆盖（攻略/网页/论文/食谱），针对结构化多模态文档设计图文一致性、步骤顺序等指标，而非仅用文本相似度。
- 工程上，层次化RAG可以结合文档解析工具（如PDF结构抽取、DOM树）自动提取层级，再对同一层内的text和image做关联索引，生成时用层级路径作为约束。
DualG-MRAG：解耦宏观推理与微观匹配的多模态检索增强生成
🧭 多模态RAG · 宏观-微观图解耦
SKLCCSE, School of Computer Science and Engineering, Beihang University
双层次图框架解耦宏观拓扑推理与微观证据匹配，抑制多模态RAG中的检索噪声
📌 工作参考价值（4 点）
- 宏观-微观图解耦架构：可迁移到电商多模态知识图谱构建，宏观层建模商品、品类间拓扑关系，微观层存储细粒度属性（如颜色、材质），分开处理避免全局推理时被局部噪声干扰，同时保留精确匹配能力。
- 查询驱动的GNN消息传递检索：作为意图感知的多模态召回模块，以用户查询为起点在图上游走传播相关性，替代单纯向量相似度匹配，更适合需要多跳证据链的复杂推荐场景（如“适合户外旅行的轻便双肩包且防水”）。
- 动态规划解码显式推理路径：不再给LLM灌输零散文档块，而是提取“图片A→属性B→场景C”的结构化路径，可提升生成式推荐或问答的可解释性，便于业务调试与用户信任。
- 细粒度视觉特征的层级使用：微观图保留局部视觉证据，宏观图仅用粗粒度表示，避免图规模爆炸；在商品搜索中可对详情图做类似分层，平衡效率与精度。
MODE-RAG：流形异常诊断与能量检索增强生成评估的多智能体系统
🧭 多模态RAG幻觉缓解 · 基于能量的多智体评估
School of Computer Science & Tech, Huazhong University of Science and Technology · School of AI and Automation, Huazhong University of Science and Technology
提出多智能体系统MODE-RAG，利用变分自由能和注意力动态门控，结合MCTS与logit惩罚来缓解多模态RAG幻觉
📌 工作参考价值（4 点）
- Agent 动态门控机制：基于内部注意力状态和变分自由能（VFE）的风险评估，可用于电商搜索/推荐Agent的决策路由，对高不确定性查询触发更严格的事实核查，避免复杂推理链中的错误传播。
- MCTS 因果推导修正：在推荐解释生成或对话式推荐中，可借鉴蒙特卡洛树搜索对候选推荐理由进行因果验证，减少编造理由（sycophancy），提升可信度。
- Logit 扰动惩罚逢迎：对于倾向生成迎合用户的虚假解释，通过在解码时施加针对性的logit惩罚，可迁移到对话Agent中抑制讨好性幻觉。
- 多智体协作流水线：Correction和Overseer Agent 的分工模式可复用到搜索推荐系统的后处理流程，例如事实核对Agent、格式化稳定Agent，增强最后输出可靠性。
多粒度自适应图证据的智能体多模态RAG
🧭 多模态长文档RAG · 图证据与智能体控制
Beijing Institute of Technology
基于证据图与在线预算控制的多粒度多模态RAG，在长文档QA中动态平衡证据覆盖与噪声
📌 工作参考价值（4 点）
- 多粒度证据图构建：将文档拆解为页面与元素节点，编码布局、阅读顺序、章节层级等结构关系，可迁移到商品详情页的复杂多模态信息检索，例如将商品主图、详情图、参数表、评论链接为图，提升问答或推荐理由生成时的证据定位
- 在线证据控制器与预算机制：按预算迭代激活、搜索、剪枝证据，避免固定Top-k导致的噪声或遗漏。电商场景中可将此法用于动态组装推荐解释/导购上下文的证据片段，在有限令牌内提升说服力
- 多模态证据渲染为结构化输入：将文字、表格、图片等证据统一格式化后馈入大视觉语言模型，启发电商推理时可把商品图文、参数、问答截图等异构信息规范渲染，增强模型理解一致性
- 证据覆盖与噪声的显式权衡：通过预算-性能曲线分析最佳工作点，推荐系统面对长商品详情、长用户评论时，可借此思路为LLM推理设定预算、平衡信息量与推理成本
面向多模态检索增强生成的可学习不确定性量化
🧭 多模态RAG · 不确定性量化
Radboud University · German Research Center for Artificial Intelligence (DFKI)
提出LeMUQ，通过分析输入扰动下的token概率信号来量化多模态RAG的不确定性，AUROC平均提升3.8%
📌 工作参考价值（3 点）
- 输入扰动策略（去除图像/检索上下文）生成多视角概率信号，再通过微调模型集成这些信号，可用于电商多模态RAG系统的答案置信度估计，辅助拒识或人工审核。
- 将 token 概率编码为特殊概率 token 的设计可迁移至生成式推荐的不确定性建模，例如为 Semantic ID 序列生成添加置信度 token 以控制多样性。
- 方法对检索噪声鲁棒，跨检索器泛化实验表明适合电商搜索增强的问答，能缓解错误检索导致的不可靠回答。
从场景到元素：面向可验证多模态 RAG 的多粒度证据检索
🧭 Multimodal ★ 深度解读
University of Macau
提出元素级多模态 RAG 框架 GranuRAG 与基准 GranuVistaVQA，通过检测-匹配-生成实现透明归因与大幅性能提升
面向多模态检索增强生成的效用导向视觉证据选择
🧭 Multimodal ★ 深度解读
Arizona State University · Texas A&M University · Morgan Stanley
通过信息增益与潜在有用性变量重新定义证据选择，并用轻量替身模型高效估计效用，无需训练即可超越基线